CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
CleanRM：用少量干净反馈对 RLHF 做样本级噪声奖励建模
🧭 RLHF 奖励建模 · 样本级噪声校正 ★ 深度解读
Zhejiang University · Xiaohongshu Inc · National University of Singapore · New York University · University of Illinois at Urbana-Champaign
用少量干净反馈经最优传输校准样本级噪声率，并构造无偏代理损失提升奖励建模与 RLHF
📌 工作参考价值（4 点）
- 点击、点赞、评分等 point-wise 反馈噪声天然是样本级的，不应沿用全局噪声率假设；可抽样少量高质量人工/专家复核样本作为 clean set，训练一个轻量样本级噪声率估计器，再做损失校正。
- 把 CleanRM 的两阶段思路迁移到 CTR/CVR 或推荐 reward 建模：先学样本级翻转概率 μ(x)、ν(x)，再用无偏 surrogate loss 训练主模型；相比全局 IPS 或 forward correction，更贴合业务中不同 item/query 的噪声异质性。
- 最优传输对齐 clean set 和 noisy set 的联合 (embedding, preference) 分布，工程上只需 backbone 输出的 embedding 和少量干净标签，不需要大规模标注；可复用于 LLM-as-judge 的评分去偏，尤其当业务依赖模型打分构建训练信号时。
- 下游策略优化对 reward model 的噪声高度敏感；在电商/Agent 场景如果要用 reward model 驱动策略或排序，先做样本级去噪能直接放大下游收益，论文中 FFT 安全分数相对 naive 提升 79.5% 可作为收益量级参考。